10 Ortogonalitet

I dette kapitel vil vi undersøge, hvordan ortogonalitet med fordel kan anvendes i flere forskellige sammenhænge. Vi fastholder et indre produkt rum $V$ over et legeme $\mathbb{K}$ , hvor $\mathbb{K}$ , som tidligere, enten betegner de reelle eller de komplekse tal.

[Ortogonale og ortonormale mængder] En samling af elementer ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ i $V$ kaldes en ortogonal mængde, hvis følgende betingelser er opfyldt

${\bm{v}}_i \neq \bm{0}$ for $i=1,2,\ldots,n$ .
${\bm{v}}_i \perp {\bm{v}}_j$ når $i \neq j$ .

Såfremt ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ herudover også opfylder

$\left\lVert {\bm{v}}_i \right\rVert =1$ for $i=1,2,\ldots,n$ ,

så kaldes ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ for en ortonormal mængde.

er en ortogonal mængde med hensyn til skalarproduktet på $\mathbb{R}^3$ .

$\begin{pmatrix} -1 \\ 1 \\ 0 \end{pmatrix}$

$\begin{pmatrix} 1 \\ 0 \\ -1 \end{pmatrix}$

$\begin{pmatrix} 3 \\ 0 \\ 3 \end{pmatrix}$

$\begin{pmatrix} -2 \\ 0 \\ 1 \end{pmatrix}$

$\begin{pmatrix} 0 \\ 1 \\ 1 \end{pmatrix}$

$\begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}$

Bemærk, at man let kommer fra en ortogonal mængde til en ortonormal mængde: hvis ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ betegner en ortogonal mængde i $V$ , så er den tilsvarende skalerede samling af elementer

$\frac{1}{\left\lVert {\bm{v}}_1 \right\rVert } {\bm{v}}_1, \frac{1}{\left\lVert {\bm{v}}_2 \right\rVert }{\bm{v}}_2, \ldots, \frac{1}{\left\lVert {\bm{v}}_n \right\rVert } {\bm{v}}_n$ en ortonormal mængde.

Betragt det komplekse indre produkt rum $C([ -\pi, \pi ], \mathbb{C})$ defineret ved (9.6) som i Eksempel 9.3 (6.). For $n \in \mathbb{Z}$ defineres de komplekse funktioner

$\begin{aligned} h_n :[ -\pi, \pi ] & \rightarrow \mathbb{C} \\ t & \mapsto e^{i\cdot n \cdot t} = \cos(n\cdot t) + i \cdot \sin(n \cdot t). \end{aligned}$ Ifølge velkendte regneregler for eksponentialfunktioner, så er

$h_n(t) \cdot h_m(t) = h_{n+m}(t),$ samt

$\overline{h_n(t)} = h_{-n}(t).$ Det følger herfra, at $h_n$ og $h_m$ er ortogonale for $n \neq m$ , idet

$\begin{aligned} \langle{h_n},{h_m}\rangle & = \int_{-\pi}^\pi {h_n}(t) \cdot \overline{h_m}(t) \,\mathrm{d} t \\ & = \int_{-\pi}^\pi {h_{n-m}}(t) \,\mathrm{d} t \\ & = \int_{-\pi}^\pi \cos((n-m)t) \,\mathrm{d} t + i \int_{-\pi}^\pi \sin((n-m)t) \,\mathrm{d} t \\ & = 0. \end{aligned}$ En tilsvarende beregning i tilfældet $n=m$ giver

$\langle{h_n},{h_n}\rangle = 2 \pi.$ Dvs. enhver endelig mængde af funktioner af typen $h_n$ er en ortogonal (men ikke ortonormal) mængde. Havde vi i stedet anvendt det indre produkt (9.7) med $c=\frac{1}{2\pi}$ , så havde mængder af denne type været ortonormale.

Som en første indikation på at ortogonalitet er anvendeligt, der bemærker vi:

Lad ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ betegne en ortogonal mængde i $V$ , og lad ${\bm{v}} \in \mathrm{Span}({\bm{v}}_1, {\bm{v}}_2, \ldots, {\bm{v}}_n)$ . Hvis

${\bm{v}} = \alpha_1 \cdot {\bm{v}}_1 + \alpha_2 \cdot {\bm{v}}_2 + \ldots + \alpha_n \cdot {\bm{v}}_n,$ for skalarer $\alpha_1,\alpha_2,\ldots,\alpha_n \in \mathbb{K}$ , så er

$\alpha_i = \frac{\langle{{\bm{v}}},{{\bm{v}}_i}\rangle}{\left\lVert {\bm{v}}_i \right\rVert ^2}, \tag{10.1}$ for $i=1,2,\ldots,n$ . Specielt er $\alpha_i \cdot {\bm{v}}_i$ projektionen af ${\bm{v}}$ på ${\bm{v}}_i$ , for $i=1,2,\ldots,n$ .

I det følgende betragter vi det reelle vektorrum $\mathbb{R}^3$ som et indre produkt rum via skalarproduktet. Lad

${\bm{v}}_1 = \begin{pmatrix} 1 \\ 2 \\ 3\end{pmatrix}, {\bm{v}}_2 = \begin{pmatrix} 3 \\ -3 \\ 1\end{pmatrix}, {\bm{v}} = \begin{pmatrix} 9 \\ 0 \\ 11 \end{pmatrix}$ betegne tre vektorer i $\mathbb{R}^3$ . Det oplyses, at ${\bm{v}} = \alpha {\bm{v}}_1 + \beta {\bm{v}}_2$ for passende reelle skalarer $\alpha$ og $\beta$ . Angiv værdieen for $\alpha$ .

Dit svar: Det er en

Bevis

Med den valgte opskrivning af ${\bm{v}}$ har vi

$\begin{aligned} \langle{{\bm{v}}},{{\bm{v}}_i}\rangle & =\Big\langle \sum_{j=1}^n \alpha_j {\bm{v}}_j, {\bm{v}}_i\Big\rangle & & \\ & = \sum_{j=1}^n \alpha_j\langle{{\bm{v}}_j},{{\bm{v}}_i}\rangle & & \text{(jf. Defn. \href{kap9.html#def:indre}{9.1} \href{kap9.html#item:def:indre:4}{(4.)})} \\ & = \alpha_i\langle{{\bm{v}}_i},{{\bm{v}}_i}\rangle & & \text{(jf. Defn. \href{#def:ortmaeng}{10.1} \href{#item:def:ortmaeng:2}{(2.)})} \\ & = \alpha_i \cdot \left\lVert {\bm{v}}_i \right\rVert ^2, & & \end{aligned}$ hvorfra identiteten (10.1) følger. Påstanden omkring projektionen følger umiddelbart af Lemma 9.14.

En umiddelbar konsekvens af ovenstående lemma er, at der kun eksisterer den trivielle lineære relation mellem elementerne i en ortogonal mængde (anvend Lemma 10.3 på ${\bm{v}}=\bm{0}$ ). Specielt har vi:

Lad ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ betegne en ortogonal mængde i $V$ . Så er $\mathcal{V}=({\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n)$ lineært uafhængig.

[Ortogonalt komplement] Lad $W$ betegne et underrum i et indre produkt rum $V$ . Det ortogonale komplement til $W$ i $V$ defineres som mængden

$W^\perp = \left\{ {\bm{v}} \in V \mid \langle{{\bm{v}}},{\bm{w}}\rangle=0 \text{ for alle } \bm{w} \in W\right\}. \tag{10.2}$

I det følgende betragter vi det reelle vektorrum $\mathbb{R}^3$ som et indre produkt rum via skalarproduktet. Lad $W = \mathrm{Span}({\bm{v}})$ , hvor

${\bm{v}} = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}.$ Så er

alle elementer i det ortogonale komplement $W^\perp$ .

$\begin{pmatrix} 0 \\ 1 \\ 2 \end{pmatrix}$

$\begin{pmatrix} -2 \\ 1 \\ 0 \end{pmatrix}$

$\begin{pmatrix} 3 \\ -3 \\ 1 \end{pmatrix}$

$\begin{pmatrix} 1 \\ 1 \\ 1 \end{pmatrix}$

$\begin{pmatrix} 1 \\ -2 \\ 1 \end{pmatrix}$

Lad $W$ betegne et underrum i et indre produkt rum $V$ . Da er det ortogonale komplement $W^\perp$ et underrum i $V$ .

Bevis

For det første er det jf. Lemma 9.7 (3.) klart, at $W^\perp$ indeholder neutralelementet $\bm{0}$ . Vi skal derfor blot vise, at $W^\perp$ er stabil overfor addition og skalarmultiplikation. Så lad ${\bm{v}},\bm{u} \in W^\perp$ og $\alpha \in \mathbb{K}$ . Så gælder der for $\bm{w} \in W$ , at

$\begin{aligned} \langle{{\bm{v}}+\bm{u}},{\bm{w}}\rangle &=\langle{{\bm{v}}},{\bm{w}}\rangle +\langle{\bm{u}},{\bm{w}}\rangle=0+0=0, \end{aligned}$ samt

$\begin{aligned} \langle{\alpha \cdot {\bm{v}}},{\bm{w}}\rangle &= \alpha \cdot \langle{{\bm{v}}},{\bm{w}}\rangle = \alpha \cdot 0 = 0. \end{aligned}$ Vi konkluderer dermed, at ${\bm{v}}+\bm{u}$ og $\alpha \cdot {\bm{v}}$ begge er elementer i $W^\perp$ , og beviset er hermed afsluttet.

Følgende resultat er simpelt men utroligt anvendeligt:

$W \cap W^\perp = \left\{\bm{0}\right\}$ .

Bevis

Inklusion " $\supseteq$ " er oplagt, og vi kan derfor alene koncentrere os om inklusionen " $\subseteq$ ". Lad ${\bm{v}} \in W \cap W^\perp$ . Idet ${\bm{v}} \in W^\perp$ , så er ${\bm{v}}$ ortogonal på alt i $W$ ; specielt er ${\bm{v}}$ ortogonal på ${\bm{v}} \in W$ . Dermed er

$0 =\langle{{\bm{v}}},{{\bm{v}}}\rangle,$ og vi konkluderer, jf. Definition 9.1 (2.), at ${\bm{v}}=0$ .

I tilfældet $V=W$ giver Lemma 10.7, at
$V^\perp = V \cap V^\perp = \left\{\bm{0}\right\} ,$ idet $V^\perp$ , pr. definition, er indeholdt i $V$ .
Idet ethvert element i $V$ er ortogonal på $\bm{0}$ , jf. Lemma 9.7 (3.), så er det ortogonale komplement $\left\{\bm{0}\right\}^\perp$ til nulvektorrummet $\left\{\bm{0}\right\}$ lig $V$ .
Betragt det indre produkt rum $\mathbb{R}^2$ udstyret med skalarproduktet. Det ortogonale komplement til underrummet $W=\mathrm{Span}(\bm{w})$ , hvor
$\bm{w}= \begin{pmatrix} 1 \\ 2 \end{pmatrix},$ består af vektorer
${\bm{v}} = \begin{pmatrix} a \\ b \end{pmatrix},$ så
$(\alpha \bm{w}) \cdot {\bm{v}} = 0,$ for alle $\alpha \in \mathbb{R}$ . Dette krav er ækvivalent med, at
$a + 2 b = 0,$ som udgør en homogen lineær ligning i to ubekendte med løsningerne $\mathrm{Span}(\hat{\bm{w}})$ , hvor $\hat \bm{w}$ betegner hat-vektoren til $\bm{w}$ . Vi konkluderer, at $W^\perp =\mathrm{Span}(\hat{\bm{w}})$ .

Lad $V$ betegne et indre produkt rum, og lad ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ betegne en samling af elementer i $V$ . Så er

$\mathrm{Span}({\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n)^\perp = \left\{ {\bm{v}} \in V \mid \langle{{\bm{v}}},{{\bm{v}}_i}\rangle=0 \text{ for } i=1,2,\ldots,n\right\}. \tag{10.3}$

Bevis

Hvis ${\bm{v}} \in \mathrm{Span}({\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n)^\perp$ , så er ${\bm{v}}$ ortogonal på alle elementer i $\mathrm{Span}({\bm{v}}_1, {\bm{v}}_2, \ldots, {\bm{v}}_n)$ og dermed specielt på ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ . Dette viser inklusionen fra venstre mod højre i identiteten (10.3).

Antag modsat, at ${\bm{v}}$ er ortogonal på ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ , og lad $\bm{w}$ betegne et arbitrært element i $\mathrm{Span}({\bm{v}}_1,{\bm{v}}_2,\ldots, {\bm{v}}_n)$ . Vælg skalarer $\alpha_1,\alpha_2, \ldots,\alpha_n \in \mathbb{K}$ så

$\bm{w} = \alpha_1 \cdot {\bm{v}}_1 + \alpha_2 \cdot {\bm{v}}_2 + \cdots + \alpha_n \cdot {\bm{v}}_n.$ Da følger det af Bemærkning 9.2 (2.), at

$\begin{aligned} \langle{{\bm{v}}},{\bm{w}}\rangle & =\Big\langle {\bm{v}}, \sum_{i=1}^n \alpha_i {\bm{v}}_i\Big\rangle & & \\ & = \sum_{i=1}^n \overline{\alpha_i} \cdot \langle{{\bm{v}}},{{\bm{v}}_i}\rangle & & \\ & = 0 , \end{aligned}$ og ${\bm{v}}$ er dermed indeholdt i det ortogonale komplement til $\mathrm{Span}({\bm{v}}_1,{\bm{v}}_2,\ldots, {\bm{v}}_n)$ . Dette afslutter beviset.

[Ortogonale underrum] Lad $U$ og $W$ betegne underrum af et indre produkt rum $V$ . Hvis alle elementer $\bm{u} \in U$ er ortogonale på alle elementer $\bm{w} \in W$ , så siger vi at underrummene $U$ og $W$ er ortogonale. I givet fald skriver vi $U \perp W$ .

10.1 Ortogonal projektion

Vi ønsker nu at definere, hvad vi vil mene med den ortogonale projektion på et underrum af et indre produkt rum.

Vi definerer i den forbindelse:

[Ortogonal projektion på underrum] Lad $W$ betegne et underrum i et indre produkt rum $V$ , og lad ${\bm{v}} \in V$ betegne et element i $V$ . Et element $\bm{p} \in W$ kaldes for en ortogonal projektion af ${\bm{v}}$ på $W$ , hvis ${\bm{v}}-\bm{p}$ er et element i $W^\perp$ .

I det følgende betragter vi det reelle vektorrum $\mathbb{R}^3$ som et indre produkt rum via skalarproduktet. Lad $W= \mathrm{Span}({\bm{v}}_1,{\bm{v}}_2)$ , hvor

${\bm{v}}_1= \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}, {\bm{v}}_2 = \begin{pmatrix} 4 \\ 5 \\ 6\end{pmatrix}.$ Angiv den ortogonale projektion af

${\bm{v}}= \begin{pmatrix} 7 \\ 7 \\ 13 \end{pmatrix},$ på underrummet $W$ .

$\begin{pmatrix}2 \\ 4 \\ 6 \end{pmatrix}$

$\begin{pmatrix}7 \\ 7 \\ 13 \end{pmatrix}$

$\begin{pmatrix}5 \\ 11 \\ 11 \end{pmatrix}$

$\begin{pmatrix}6 \\ 9 \\ 12 \end{pmatrix}$

At $\bm{p} \in W$ er en ortogonal projektion af ${\bm{v}}$ på $W$ , betyder, at vi kan skrive ${\bm{v}}=\bm{p} + \bm{h}$ for et element $\bm{h} \in W^\perp$ (sæt blot $\bm{h}={\bm{v}}-\bm{p}$ ). Begrebet kan passende illustreres ved Figur 10.12.

Ortogonal projektion

Vi vil nu undersøge, hvornår der eksisterer ortogonale projektioner, og vi starter med at bemærke, at ortogonale projektioner er entydigt bestemte, såfremt de eksisterer.

Lad $W$ betegne et underrum i et indre produkt rum $V$ , og lad ${\bm{v}} \in V$ betegne et element i $V$ . Hvis $\bm{p}$ og $\bm{p}'$ betegner ortogonale projektioner af ${\bm{v}}$ på $W$ , så er $\bm{p}=\bm{p}'$ .

Bevis

Idet $W^\perp$ er et vektorrum, så vil differensen

$\bm{p}-\bm{p}' = ({\bm{v}}- \bm{p}') - ({\bm{v}}-\bm{p}) \in W^\perp$ være et element i $W^\perp$ . Men $\bm{p}-\bm{p}'$ er også et element i $W$ , og dermed

$\bm{p}-\bm{p}' \in W^\perp \cap W = \left\{\bm{0}\right\},$ jf. Lemma 10.7. Vi konkluderer, at $\bm{p} - \bm{p}' = \bm{0}$ , hvilket er ækvivalent med det ønskede.

Følgende resultat viser, at der altid eksisterer projektioner på underrum, der er udspændt af en ortogonal mængde.

Lad ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ betegne en ortogonal mængde i et indre produkt rum $V$ , og lad $W$ betegne spannet $\mathrm{Span}({\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n)$ . Ethvert element ${\bm{v}}$ i $V$ kan da entydigt skrives som en sum

${\bm{v}} = \bm{p} + \bm{h} , \tag{10.4}$ hvor $\bm{p} \in W$ og $\bm{h} \in W^\perp$ . Faktisk er

$\bm{p} = \frac{\langle{{\bm{v}}},{{\bm{v}}_1}\rangle}{\left\lVert {\bm{v}}_1 \right\rVert ^2} \cdot {\bm{v}}_1 + \frac{\langle{{\bm{v}}},{{\bm{v}}_2}\rangle}{\left\lVert {\bm{v}}_2 \right\rVert ^2} \cdot {\bm{v}}_2 + \ldots + \frac{\langle{{\bm{v}}},{{\bm{v}}_n}\rangle}{\left\lVert {\bm{v}}_n \right\rVert ^2} \cdot {\bm{v}}_n . \tag{10.5}$

Betragt det reelle vektorrum $\mathbb{R}^3$ som et indre produkt rum via skalarproduktet, og sæt $W = \mathrm{Span}(\bm{w}_{1}, \bm{w}_{2})$ , hvor $\bm{w}_{1} = \begin{pmatrix} 2 \\ 0 \\ 0 \end{pmatrix}$ og $\bm{w}_{2} = \begin{pmatrix} 0 \\ 3 \\ 1 \end{pmatrix}$ . Beregn den ortogonale projektion af ${\bm{v}} = \begin{pmatrix} -4 \\ 4 \\ -2 \end{pmatrix}$ på $W$ .

$\begin{pmatrix} \frac{-19}{4} \\[6pt] \frac{66}{10} \\[6pt] \frac{21}{10} \end{pmatrix}$

$\begin{pmatrix} -4 \\ 3 \\ 1 \end{pmatrix}$

$\begin{pmatrix} 1 \\ 3 \\ 4 \end{pmatrix}$

$\begin{pmatrix} \frac{-9}{2} \\[6pt] \frac{18}{10} \\[6pt] \frac{6}{10} \end{pmatrix}$

Bevis

Ifølge Lemma 10.13 så er det tilstrækkeligt at vise eksistensen af en opspaltning af ${\bm{v}}$ på formen (10.4), hvor $\bm{p}$ er givet som i (10.5).

Idet $\bm{p}$ er en linearkombination af vektorerne ${\bm{v}}_1,\ldots,{\bm{v}}_n$ , så er $\bm{p}$ et element i $W$ . Vi skal derfor kun vise, at ${\bm{v}}-\bm{p}$ er et element i $W^\perp$ , hvilket, ifølge Lemma 10.9, er ækvivalent med, at

$\langle{{\bm{v}}-\bm{p}},{{\bm{v}}_i}\rangle = 0 \quad \text{ for } i=1,2,\ldots,n.$ Det sidste følger af beregningen

$\begin{aligned} \langle{{\bm{v}}-\bm{p}},{{\bm{v}}_i}\rangle & = \langle{{\bm{v}} },{{\bm{v}}_i}\rangle - \langle{ \bm{p}},{{\bm{v}}_i}\rangle \\ &= \langle{{\bm{v}} },{{\bm{v}}_i}\rangle- \sum_{j=1}^n \langle{ \frac{\langle{{\bm{v}}},{{\bm{v}}_j}\rangle}{\left\lVert {\bm{v}}_j \right\rVert ^2} {\bm{v}}_j},{{\bm{v}}_i}\rangle \\ & = \langle{{\bm{v}} },{{\bm{v}}_i}\rangle- \sum_{j=1}^n \frac{\langle{{\bm{v}}},{{\bm{v}}_j}\rangle}{\left\lVert {\bm{v}}_j \right\rVert ^2} \cdot\langle{ {\bm{v}}_j},{{\bm{v}}_i}\rangle \\ & = \langle{{\bm{v}} },{{\bm{v}}_i}\rangle- \frac{\langle{{\bm{v}}},{{\bm{v}}_i}\rangle}{\left\lVert {\bm{v}}_i \right\rVert ^2} \cdot\langle{ {\bm{v}}_i},{{\bm{v}}_i}\rangle \\ & = 0, \end{aligned}$ hvor vi undervejs har anvendt egenskaber ved det indre produkt samt antagelsen om, at ${\bm{v}}_i$ 'erne er ortogonale.

At $W$ er udspændt af en ortogonal mængde er, jf. Proposition 10.4, ækvivalent med, at $W$ har en basis, hvis elementer udgør en ortogonal mængde. Vi definerer derfor:

[Ortogonale og ortonormale baser] En ortogonal basis for et vektorrum $V$ er en basis $\mathcal{V}=({\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n)$ for $V$ , hvor ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ er en ortogonal mængde. Såfremt ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ er en ortonormal mængde, så kaldes $\mathcal{V}$ også for en ortonormal basis.

Vektorerne

definerer en samling af elementer, der udgør en ortogonal basis for $\mathbb{R}^2$ (mht. skalarproduktet)

$\begin{pmatrix} 1 \\ 2 \end{pmatrix}$

$\begin{pmatrix} 1 \\ 1 \end{pmatrix}$

$\begin{pmatrix} -2 \\ 1 \end{pmatrix}$

$\begin{pmatrix} -1 \\ 2 \end{pmatrix}$

Vektorerne

definerer en samling af elementer, der udgør en ortonormal basis for $\mathbb{R}^2$ (mht. skalarproduktet).

$\begin{pmatrix} 1 \\ 2 \end{pmatrix}$

$\begin{pmatrix} 0 \\ 1 \end{pmatrix}$

$\begin{pmatrix} -2 \\ 1 \end{pmatrix}$

$\begin{pmatrix} -1 \\ 0 \end{pmatrix}$

Vi vil nu undersøge hvilke vektorrum, der har ortonormale baser. I første omgang bemærker vi følgende resultat:

Lad ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n$ betegne en ortogonal mængde i et indre produkt rum $V$ , og lad ${\bm{v}}$ betegne et element i $V$ , der ikke er indeholdt i $W=\mathrm{Span}({\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_n)$ . Skriv, jf. Lemma 10.14,

${\bm{v}} = \bm{p} + \bm{h},$ hvor $\bm{p} \in W$ og $\bm{h} \in W^\perp$ , og sæt ${\bm{v}}_{n+1} = \bm{h}= {\bm{v}}-\bm{p}$ . Så er ${\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_{n+1}$ en ortogonal mængde.

Bevis

Idet $\bm{h} \in W^\perp$ , så vil

$\langle{{\bm{v}}_{n+1}},{{\bm{v}}_i}\rangle=0 \quad \text{for } i=1,2,\ldots,n.$ Det er dermed tilstrækkeligt at vise, at ${\bm{v}}_{n+1} \neq \bm{0}$ . Men hvis $\bm{h}={\bm{v}}_{n+1}=\bm{0}$ , så ville

${\bm{v}} = \bm{p} \in W,$ hvilket er i modstrid med antagelsen. Dette afslutter beviset.

Lad $V$ betegne et indre produkt rum af endelig positiv dimension. Så har $V$ en ortonormal basis.

Bevis

Idet en ortonormal basis kan opnås ud fra en ortogonal basis (ved skalering), så kan vi nøjes med at vise, at $V$ har en ortogonal basis. Dette udsagn vises ved induktion i ${\mathrm{dim}}(V)>0$ . Hvis $\mathrm{dim}(V)=1$ , så vælges et element ${\bm{v}}_1 \in V$ forskellig fra $\bm{0}$ . Da er $\mathcal{V}=({\bm{v}}_1)$ lineært uafhængig og derfor nødvendigvis en basis (jf. Proposition 7.12). Yderligere er mængden bestående af blot ${\bm{v}}_1$ ortogonal.

Antag nu, at $\mathrm{dim}(V)=d+1$ for $d>0$ , og at udsagnet er vist for vektorrum af dimension $d$ . Lad $\mathcal{W}=(\bm{w}_1, \bm{w}_2,\ldots,\bm{w}_{d+1})$ betegne en basis for $V$ , og sæt $U = \mathrm{Span}(\bm{w}_1,\bm{w}_2,\ldots,\bm{w}_d)$ . Så er $U$ et indre produkt rum af dimension $d$ , og derfor eksisterer der, pr. induktion, en ortogonal basis

$\mathcal{U} = (\bm{u}_1,\bm{u}_2,\ldots,\bm{u}_d)$ for $U$ . Idet $U \neq V$ så kan vi, vha. Lemma 10.16, udvide den ortogonale mængde $\bm{u}_1,\bm{u}_2,\ldots, \bm{u}_{d}$ med et ekstra element $\bm{u}_{d+1} \in V$ . Da er $\bm{u}_1,\bm{u}_2,\ldots, \bm{u}_{d+1}$ en ortogonal mængde i $V$ , og dermed, jf. Proposition 10.4, er $\mathcal{V}=(\bm{u}_1,\bm{u}_2,\allowbreak\ldots,\allowbreak\bm{u}_{d+1})$ lineært uafhængig. Men så er $\mathcal{V}$ en ortogonal basis for $V$ , jf. Proposition 7.12.

Vi kan nu vise, at der altid eksisterer ortogonale projektioner på underrum af endelig dimension.

Lad $W$ betegne et underrum af endelig dimension i et indre produkt rum $V$ , og lad ${\bm{v}} \in V$ . Så findes der entydige elementer $\bm{p} \in W$ og $\bm{h} \in W^\perp$ , så

${\bm{v}} = \bm{p} + \bm{h}.$

Bevis

Hvis $\mathrm{dim}(W)=0$ , så er $W=\left\{\bm{0}\right\}$ , og vi kan dermed sætte $\bm{p}= \bm{0}$ og $\bm{h}={\bm{v}}$ . Dette er samtidig også den eneste mulighed for at opfylde kravene i udsagnet. Antag derfor, at $\mathrm{dim}(W)>0$ . Ifølge Proposition 10.17 har $W$ dermed en ortonormal basis, og udsagnet følger da af Lemma 10.14.

Dette leder frem til følgende definition:

[Projektionsafbildningen] Lad $W$ betegne et underrum af endelig dimension i et indre produkt rum $V$ . Afbildningen

$\begin{aligned} P_W : V & \rightarrow W, \\ {\bm{v}} & \mapsto \bm{p}, \end{aligned}$ der afbilder et element ${\bm{v}}$ i dets ortogonale projektion $\bm{p}$ på $W$ , kaldes for den ortogonale projektion af $V$ på $W$ .

I det følgende betragtes det reelle vektorrum $\mathbb{R}^3$ som et indre produkt rum via skalarproduktet. Lad $W = \mathrm{Span}({\bm{v}}_1,{\bm{v}}_2)$ , hvor

${\bm{v}}_1= \begin{pmatrix}1 \\ 2 \\ 1 \end{pmatrix}, {\bm{v}}_2= \begin{pmatrix} 2\\ 1 \\ 2 \end{pmatrix}. \tag{10.6}$ Den ortogonale projetion $P_W : \mathbb{R}^3 \rightarrow W$ , er da givet ved, at

$P_W(\begin{pmatrix}a \\ b \\ c \end{pmatrix}) = \begin{pmatrix} \alpha \\ \beta \\ \alpha \end{pmatrix},$ hvor $\alpha$ er lig

og $\beta$ er lig

$a+b+c$

$b$

$b+c$

$\frac{1}{2} (a+c)$

Den ortogonale projektion

$P_W : V \rightarrow W$ af et indre produkt rum $V$ på et endeligt dimensionalt underrum $W$ er en lineær transformation.

Bevis

Lad ${\bm{v}}$ og ${\bm{v}}'$ betegne elementer i $V$ , og lad $\alpha \in \mathbb{K}$ betegne en skalar. Vi skal vise, at

$\begin{aligned} P_W({\bm{v}}+{\bm{v}}') = P_W({\bm{v}}) + P_W({\bm{v}}'), \end{aligned}\tag{10.7}$ og at

$\begin{aligned} P_W(\alpha \cdot {\bm{v}}) = \alpha \cdot P_W({\bm{v}}). \end{aligned}\tag{10.8}$ Sæt $\bm{p}= P_W({\bm{v}})$ og $\bm{p}'= P_W({\bm{v}}')$ . Så er $\bm{p}, \bm{p}' \in W$ , mens ${\bm{v}}-\bm{p}$ og ${\bm{v}}'-\bm{p}'$ er elementer i $W^\perp$ . Idet både $W$ og $W^\perp$ er vektorrum, så har vi dermed

$\begin{aligned} \bm{p} + \bm{p}' \in W, \end{aligned}\tag{10.9}$ og

$\begin{aligned} ({\bm{v}}+{\bm{v}}')-(\bm{p}+\bm{p}') = ({\bm{v}}-\bm{p})+ ({\bm{v}}'-\bm{p}') \in W^{\perp}. \end{aligned}\tag{10.10}$ Specielt opfylder $\bm{p} + \bm{p}'$ de nødvendige betingelser for at være lig $P_W({\bm{v}}+{\bm{v}}')$ , og dermed er (10.7) opfyldt. Tilsvarende ses, at (10.8) er opfyldt.

Betragt det reelle indre produkt rum $V=C([ -\pi, \pi ], \mathbb{R})$ som defineret i (9.4). Ifølge Eksempel 9.10 (2.) så er funktionerne $f(t) = \cos(t)$ og $g(t)=\sin(t)$ ortogonale. Lad $W$ betegne underrummet $\mathrm{Span}(f,g)$ , og lad os bestemme den ortogonale projektion $p$ af funktionen $h(t) =t$ på $W$ . Ifølge (10.5) så er

$p = \frac{\langle{h},{f}\rangle }{\left\lVert f \right\rVert ^2} f + \frac{\langle{h},{g}\rangle }{\left\lVert g \right\rVert ^2} g.$ Vi beregner derfor

$\begin{aligned} \langle{h},{f}\rangle & = \int_{-\pi}^\pi t \cdot \cos(t) \,\mathrm{d} t \\ & = \bigl[t \sin(t) + \cos(t)\bigr]_{-\pi}^\pi \\ & = 0 \end{aligned}$ og

$\begin{aligned} \langle{h},{g}\rangle & = \int_{-\pi}^\pi t \cdot \sin(t) \,\mathrm{d} t \\ & = \bigl[- t \cos(t) + \sin(t)\bigr]_{-\pi}^\pi \\ & = 2 \pi, \end{aligned}$ mens (overlades til læseren)

$\langle{f},{f}\rangle = \langle g,g \rangle = \pi.$ Det følger dermed, at den ortogonale projektion af $h$ på $W$ er givet ved $p(t) = 2 \sin(t)$ .

Lad $V$ betegne et indre produkt rum af endelig dimension $>0$ . Hvis $W$ er et underrum i $V$ , så er

$\mathrm{dim}(V) = \mathrm{dim}(W) + \mathrm{dim}(W^\perp). \tag{10.11}$ Herudover, så er $(W^\perp)^\perp=W$ .

Bevis

Betragt den ortogonale projektion

$P_W : V \rightarrow W.$ Ifølge dimensionsformlen Sætning 7.20 (og Proposition 10.20) så er

$\mathrm{dim}(V) = \mathrm{dim}\bigl( \ker(P_W) \bigr) + \mathrm{dim}\bigl( P_W(V) \bigr). \tag{10.12}$ Elementer ${\bm{v}}$ i $\ker(P_W)$ er karakteriseret ved, at ${\bm{v}}-\bm{0}$ er indeholdt i $W^\perp$ ; dvs.

$\ker(P_W) = W^\perp. \tag{10.13}$ Yderligere er det klart, at $P_W$ er surjektiv (idet $P_W(\bm{w})=\bm{w}$ , for $\bm{w} \in W$ ), og dermed er

$P_W(V) = W. \tag{10.14}$ Identiteten (10.11) følger nu ved at kombinere (10.12), (10.13) og (10.14).

Bemærk nu, at $W$ er ortogonal på alt, hvad der er ortogonalt på $W$ . Med andre ord så er $W$ et underrum af $(W^\perp)^\perp$ . Men ifølge det just viste, så er

$\mathrm{dim}\big( (W^\perp)^\perp \big) = \mathrm{dim}(V)- \mathrm{dim}(W^\perp) = \mathrm{dim}(V) - (\mathrm{dim}(V)- \mathrm{dim}(W)) = \mathrm{dim}(W),$ og dermed er $W$ nødvendigvis lig $(W^\perp)^\perp$ , jf. Proposition 7.16.

Quiz

Lad $V$ betegne et vektorrum af endelig dimension, og lad $W$ betegne et underrum af $V$ . Hvilket af følgende udsagn er ikke nødvendigvis korrekt?

$W\cup W^{\bot} = V.$

$\forall {\bm{v}}, \bm{w} \in W^\perp: {\bm{v}} + \bm{w} \in W^{\bot.}$

$V^{\bot} = \{\textbf{0}\}.$

Hvis ${\bm{v}}$ betegner et element i $W,$ så er den ortogonale projektion af ${\bm{v}}$ på $W^{\bot}$ lig $\textbf{0}$ .

10.2 Gram-Schmidt processen

Vi ønsker nu at systematisere beviset for Proposition 10.17 og herved opnå en algoritme til bestemmelse af ortonormale baser. Vi starter med:

Lad $V$ betegne et indre produkt rum med basis $\mathcal{V}=({\bm{v}}_1,{\bm{v}}_2,\allowbreak\ldots,\allowbreak{\bm{v}}_n)$ . Lad $\bm{p}_k$ , for $k=1,2, \ldots,n-1$ , betegne den ortogonale projektion af ${\bm{v}}_{k+1}$ på underrummet $\mathrm{Span}({\bm{v}}_1, {\bm{v}}_2, \ldots, {\bm{v}}_k)$ . Så er

$\mathcal{W} = ({\bm{v}}_1,{\bm{v}}_2-\bm{p}_1, {\bm{v}}_3-\bm{p}_2, \ldots, {\bm{v}}_n-\bm{p}_{n-1}), \tag{10.15}$ en ortogonal basis for $V$ .

Bevis

Sæt $\bm{w}_1= {\bm{v}}_1$ og $\bm{w}_k= {\bm{v}}_k-\bm{p}_{k-1}$ for $k=2,3,\ldots,n$ . Det er, jf. Proposition 10.4 og Proposition 7.12, tilstrækkeligt at vise, at $\bm{w}_1,\bm{w}_2,\ldots,\bm{w}_n$ er en ortogonal mængde.

Lad $V_k$ , for $k=1,2,\ldots,n$ , betegne underrummet $\mathrm{Span}( {\bm{v}}_1,{\bm{v}}_2,\allowbreak\ldots,\allowbreak{\bm{v}}_k)$ . Vi påstår, at

$\bm{w}_{k+1} \in V_k^\perp \cap V_{k+1}, \tag{10.16}$ for $k=1,2, \ldots,n-1$ : i første omgang er $\bm{p}_{k}$ , for $k=1,2,\ldots,n-1$ , den ortogonale projektion af ${\bm{v}}_{k+1}$ på $V_k$ , hvilket implicerer, at $\bm{w}_{k+1} = {\bm{v}}_{k+1}-\bm{p}_k$ er et element i $V_k^{\perp}$ . Herudover er $\bm{w}_{k+1} = {\bm{v}}_{k+1}-\bm{p}_k$ en differens af to elementer i $V_{k+1}$ og dermed selv et element i $V_{k+1}$ .

Vi kan nu vise, at $\bm{w}_i$ og $\bm{w}_j$ , med $i<j$ , er ortogonale. Først bemærkes det, at $j>1$ , og (10.16) implicerer derfor, at

$\bm{w}_j \in V_{j-1}^\perp. \tag{10.17}$ Specielt er $\bm{w}_j$ ortogonal på $\bm{w}_i$ , idet

$\bm{w}_i \in V_{i} \subseteq V_{j-1}. \tag{10.18}$

Det resterer derfor kun at vise, at alle $\bm{w}_1, \bm{w}_2,\ldots,\bm{w}_n$ er forskellige fra $\bm{0}$ . I første omgang er $\bm{w}_1= {\bm{v}}_1$ forskellig fra $\bm{0}$ , idet ${\bm{v}}_1$ er del af en basis for $V$ . Betragt herefter $\bm{w}_k$ for $k>1$ . Hvis $\bm{w}_k= \bm{0}$ , så vil ${\bm{v}}_{k}=\bm{p}_{k-1}$ være et element i $V_{k-1}$ . Men så er $({\bm{v}}_1,{\bm{v}}_2,\ldots,{\bm{v}}_k)$ lineært afhængig, jf. Lemma 7.8 (2.), hvilket er i modstrid med antagelserne. Dette afslutter beviset.

I konkrete tilfælde så kan den ortogonale basis (10.15) bestemmes via en rekursiv proces, som vi nu vil beskrive. Pointen er, at $\bm{p}_k$ , og dermed ${\bm{v}}_{k+1}-\bm{p}_k$ , kan bestemmes, så snart vi har en ortogonal basis for $V_k=\mathrm{Span}({\bm{v}}_1,{\bm{v}}_2, \ldots,{\bm{v}}_k)$ (jf. (10.5)). Men mængden

${\bm{v}}_1,{\bm{v}}_2-\bm{p}_1,\ldots, {\bm{v}}_k-\bm{p}_{k-1},$ er pr. Lemma 10.24, en ortogonal mængde i $V_k$ og dermed en ortogonal basis for $V_k$ . Så elementerne i basen (10.15) kan bestemmes rekursivt (dvs. en ad gangen) startende fra venstre med ${\bm{v}}_1$ ; derefter ${\bm{v}}_2-\bm{p}_1$ ; etc.

Lad $V$ betegne et indre produkt rum med basis $\mathcal{V}=({\bm{v}}_1, {\bm{v}}_2, \ldots, {\bm{v}}_n)$ , og lad $\mathcal{W}=(\bm{w}_1, \bm{w}_2, \ldots, \bm{w}_n)$ betegne den ortogonale basis (10.15) for $V$ bestemt ud fra $\mathcal{V}$ . Definer

$\bm{u}_i = \frac{1}{\left\lVert \bm{w}_i \right\rVert }\bm{w}_i \quad \text{for } i=1,2,\ldots, n. \tag{10.19}$ Så er

$\bm{u}_1 = \frac{1}{\left\lVert {\bm{v}}_1 \right\rVert } {\bm{v}}_1,$ mens

$\bm{u}_{k+1} = \frac{1}{\left\lVert {\bm{v}}_{k+1} - \bm{p}_k \right\rVert } ( {\bm{v}}_{k+1} - \bm{p}_k) \quad \text{for } k=1,2, \ldots,n-1,$ hvor

$\bm{p}_k =\langle{{\bm{v}}_{k+1}},{\bm{u}_1}\rangle \bm{u}_1 + \langle{{\bm{v}}_{k+1}},{\bm{u}_2}\rangle \bm{u}_2+ \cdots + \langle{{\bm{v}}_{k+1}},{\bm{u}_k}\rangle \bm{u}_k. \tag{10.20}$

Bevis

Det er tilstrækkeligt at vise, at notationen $\bm{p}_k$ i (10.20) stemmer overens med den tilsvarende notation i Lemma 10.24; dvs. at $\bm{p}_k$ er lig den ortogonale projektion af ${\bm{v}}_{k+1}$ på $V_k=\mathrm{Span}({\bm{v}}_1, {\bm{v}}_2, \ldots, {\bm{v}}_k)$ for $k=1,2,\ldots,n-\nobreak 1$ .

Ifølge definitionerne i Lemma 10.24 så vil $\bm{w}_k$ tilhøre $V_k=\mathrm{Span}({\bm{v}}_1, {\bm{v}}_2, \ldots, {\bm{v}}_k)$ , når $k=1,2,\ldots,n$ . Specielt vil, jf. udsagnet i Lemma 10.24, elementerne $\bm{w}_1,\bm{w}_2, \ldots,\bm{w}_k$ udgøre en ortogonal mængde i $V_k$ . Det følger, at $\bm{u}_1,\bm{u}_2,\ldots,\bm{u}_k$ udgør en ortonormal mængde i $V_k$ , for $k=1,2,\ldots,n$ . Jf. Proposition 10.4 og Proposition 7.12, så er $\mathcal{U}_k=(\bm{u}_1, \bm{u}_2, \ldots, \bm{u}_k)$ derfor en ortonormal basis for $V_k$ . Specielt definerer (10.20), jf. (10.5), den ortogonale projektion af ${\bm{v}}_{k+1}$ på $V_k$ som ønsket.

Ovenstående resultat danner grundlaget for en algoritme, kaldet Gram-Schmidt processen, der producerer en ortonormal basis $\mathcal{U}= (\bm{u}_1, \bm{u}_2, \ldots, \bm{u}_n)$ for et indre produkt rum $V$ ud fra en arbitrær basis $\mathcal{V}=({\bm{v}}_1, {\bm{v}}_2, \ldots, {\bm{v}}_n)$ . Algoritmen forløber rekursivt på følgende vis:

Start med at definere

$\bm{u}_1= \frac{1}{\left\lVert {\bm{v}}_1 \right\rVert } {\bm{v}}_1.$ Antag nu, at $\bm{u}_1,\bm{u}_2,\ldots, \bm{u}_k$ allerede er defineret ( $k\geq1$ ), og sæt da

$\bm{u}_{k+1} = \frac{1}{\left\lVert {\bm{v}}_{k+1} - \bm{p}_k \right\rVert } ( {\bm{v}}_{k+1} - \bm{p}_k),$ hvor

$\bm{p}_k = \langle {\bm{v}}_{k+1}, \bm{u}_1 \rangle \bm{u}_1 + \langle {\bm{v}}_{k+1}, \bm{u}_2 \rangle \bm{u}_2+ \ldots + \langle {\bm{v}}_{k+1}, \bm{u}_k \rangle \bm{u}_k. \tag{10.21}$ Forsæt ovenstående indtil $\bm{u}_1,\bm{u}_2,\ldots,\bm{u}_n$ er defineret.

At ovenstående algoritme faktisk producerer en ortonormal basis (og at man ikke dividerer med $0$ undervejs) følget af udsagnet i Lemma 10.25. Vi illustrerer nedenfor Gram-Schmidt metoden med et eksempel.

Betragt $\mathbb{R}^4$ som et indre produkt rum via skalarproduktet. Lad

${\bm{v}}_1= \footnotesize \begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix} ,\quad {\bm{v}}_2 = \footnotesize \begin{pmatrix} 1 \\ 1 \\ 0 \\ 0 \end{pmatrix} ,\quad {\bm{v}}_3 = \footnotesize \begin{pmatrix} 3 \\ 1 \\ 1 \\ -1 \\ \end{pmatrix} ,$ og sæt $V= \mathrm{Span}({\bm{v}}_1,{\bm{v}}_2,{\bm{v}}_3)$ . Vi ønsker at bestemme en ortonormal basis for $V$ . Vi påstår først, at $\mathcal{V}=({\bm{v}}_1,{\bm{v}}_2,{\bm{v}}_3)$ er lineært uafhængig, og at $\mathcal{V}$ dermed er en basis for $V$ . Påstanden er, jf. Proposition 7.12, ækvivalent med, at $\mathrm{dim}(V)=3$ . Dimensionen $\mathrm{dim}(V)$ beregnes som angivet i Afsnit 7.4, og vi indfører derfor den reelle matrix

$A = \begin{pmatrix} 1 & 1 & 3 \\ 1 & 1 & 1 \\ 1 & 0 & 1 \\ 1 & 0 & -1 \end{pmatrix} ,$ med søjlerum lig $V$ . Dimensionen af $V$ kan dermed bestemmes som antallet af pivoter i en RREF for $A$ . Vi udfører ERO, og finder

$A \sim \begin{pmatrix} 1 & 1 & 3 \\ 0 & 0 & -2 \\ 0 & -1 & -2 \\ 0 & -1 & -4 \end{pmatrix} \sim \begin{pmatrix} 1 & 1 & 3 \\ 0 & -1 & -2 \\ 0 & -1 & -4 \\ 0 & 0 & -2 \end{pmatrix} \sim \begin{pmatrix} 1 & 1 & 3 \\ 0 & -1 & -2 \\ 0 & 0 & -2 \\ 0 & 0 & -2 \end{pmatrix} \sim \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{pmatrix} ,$ at antallet af pivoter er lig $3$ som ønsket. Vi kan nu udføre Gram-Schmidt processen på $\mathcal{V}$ . I første omgang sættes

$\bm{u}_1 = \frac{1}{\left\lVert {\bm{v}}_1 \right\rVert } {\bm{v}}_1 = \tfrac{1}{2} {\bm{v}}_1 = \tfrac{1}{2} \footnotesize \begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix} .$ Herefter er

$\bm{p}_1 =\langle{{\bm{v}}_2},{\bm{u}_1}\rangle \cdot \bm{u}_1 =\tfrac{1}{2} \cdot {\bm{v}}_1.$ Dvs.

$\bm{u}_2 = \frac{1}{\left\lVert {\bm{v}}_2- \frac{1}{2} \cdot {\bm{v}}_1 \right\rVert } ( {\bm{v}}_2- \tfrac{1}{2} \cdot {\bm{v}}_1) = \tfrac{1}{2} \cdot \footnotesize \begin{pmatrix} 1 \\ 1 \\ -1 \\ -1 \\ \end{pmatrix} .$ Herefter er

$\bm{p}_2 = \langle{{\bm{v}}_3},{\bm{u}_1}\rangle \cdot \bm{u}_1 +\langle{{\bm{v}}_3},{\bm{u}_2}\rangle \cdot \bm{u}_2 = {\bm{v}}_1+ 2 \cdot \bm{u}_2= \footnotesize \begin{pmatrix} 2 \\ 2 \\ 0 \\ 0 \footnotesize \end{pmatrix} ,$ og dermed

$\bm{u}_3= \frac{1}{\left\lVert {\bm{v}}_3- \bm{p}_2 \right\rVert } ( {\bm{v}}_3- \bm{p}_2) = \tfrac{1}{2} \cdot \footnotesize \begin{pmatrix} 1 \\ -1 \\ 1 \\ -1 \end{pmatrix} .$ Vi konkluderer, at

$\mathcal{U} = \Bigl( \tfrac{1}{2} \cdot \footnotesize \begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix} , \tfrac{1}{2} \cdot \footnotesize \begin{pmatrix} 1 \\ 1 \\ -1 \\ -1 \\ \end{pmatrix} , \tfrac{1}{2} \cdot \footnotesize \begin{pmatrix} 1 \\ -1 \\ 1 \\ -1 \end{pmatrix} \Bigr),$ er en ortonormal basis for $V$ .

Lad $V$ betegne et vektorrum af endelig dimension $n>0$ . Vi ved allerede, at vi kan udvide en lineært uafhængig samling af elementer $\mathcal{V}'=({\bm{v}}_1,{\bm{v}}_2, \ldots, {\bm{v}}_m)$ i $V$ til en basis $\mathcal{V}=({\bm{v}}_1,{\bm{v}}_2,\ldots, {\bm{v}}_n)$ for $V$ . Hvis vi herefter anvender Gram-Schmidt processen på $\mathcal{V}$ , så opnår vi en ortonormal basis $\mathcal{U}=(\bm{u}_1,\bm{u}_2, \ldots,\bm{u}_n)$ for $V$ . Bemærk nu, at hvis $\mathcal{V}'$ var en ortonormal samling af elementer, så ville de første elementer $\bm{u}_i$ , for $i=1,2,\ldots,m$ , i den ortonormale basis $\mathcal{U}$ være identiske med de tilsvarende ${\bm{v}}_i$ 'ere i $\mathcal{V}'$ . Denne påstand følger umiddelbart ved induktion i $i$ , idet man anvender, at $\bm{p}_k$ i (10.21) er nulvektoren, hvis ${\bm{v}}_{k+1}$ er ortogonal på $\bm{u}_1, \bm{u}_2,\ldots,\bm{u}_k$ . Vi har hermed opnået en ortonormalbasis $\mathcal{U}$ for $V$ , der er en udvidelse af den ortonormale samling af elementer $\mathcal{V}'$ .

10.3 Lineære isometrier

Hvis $V$ og $W$ begge er indre produkt rum over legemet $\mathbb{K}$ , så er det naturligt at betragte lineære transformationer mellem $V$ og $W$ , der respekterer det indre produkt. Vi definerer:

[Lineær isometri] En lineær transformation $L : V \rightarrow W$ kaldes en lineær isometri, såfremt

$\langle{L({\bm{v}}_1)},{L({\bm{v}}_2)}\rangle =\langle{{\bm{v}}_1},{{\bm{v}}_2}\rangle, \tag{10.22}$ for alle ${\bm{v}}_1, {\bm{v}}_2 \in V$ .

En lineær isometri $L : V \rightarrow W$ af indre produkt rum opfylder specielt

$\left\lVert L({\bm{v}}) \right\rVert = \left\lVert {\bm{v}} \right\rVert \quad \text{for alle } {\bm{v}} \in V, \tag{10.23}$ hvilket ses umiddelbart af (10.22) med ${\bm{v}}={\bm{v}}_1={\bm{v}}_2$ . Identiteten (10.23) udtrykker, at $L$ bevarer længder, og faktisk er det oftest denne egenskab, som bruges som definition på en isometri. At identiteterne (10.22) og (10.23) er ækvivalente følger af polariseringsidentiteterne:

Lad $V$ og $W$ betegne indre produkt rum. En lineær afbildning $L: V \rightarrow W$ der opfylder identiteten (10.23) er en lineær isometri.

Bevis

Vi betragter her alene tilfældet $\mathbb{K}=\mathbb{R}$ , og overlader det resterende tilfælde $\mathbb{K}=\mathbb{C}$ til læseren. Antag at identiteten (10.23) er opfyldt. Så er

$\begin{aligned} 4 \cdot \langle{L({\bm{v}})},{L(\bm{w})}\rangle & = \left\lVert L({\bm{v}})+L(\bm{w}) \right\rVert ^2 - \left\lVert L({\bm{v}})-L(\bm{w}) \right\rVert ^2 & & \text{(jf. Prop. \href{kap9.html#prop:polar}{9.17})} \\ & = \left\lVert L({\bm{v}}+\bm{w}) \right\rVert ^2 - \left\lVert L({\bm{v}}-\bm{w}) \right\rVert ^2 & & \text{(idet } L \text{ er lineær)} \\ & = \left\lVert {\bm{v}}+\bm{w} \right\rVert ^2 - \left\lVert {\bm{v}}-\bm{w} \right\rVert ^2 & & \text{(pr. antagelse)} \\ &= 4 \cdot \langle{{\bm{v}}},{\bm{w}}\rangle & & \text{(jf. Prop. \href{kap9.html#prop:polar}{9.17})}, \end{aligned}$ hvorfra det ønskede følger.

Lad $V$ betegne et indre produkt rum over $\mathbb{K}$ med ortonormal basis $\mathcal{V}$ . Opfat $\mathbb{K}^n$ som et indre produkt rum via det sædvanlige skalarprodukt. Så er den lineære isomorfi

$\begin{aligned} [\,\cdot\,]_{\mathcal{V}} : V & \rightarrow \mathbb{K}^n, \\ {\bm{v}} & \mapsto [{\bm{v}}]_{\mathcal{V}}, \end{aligned}$ en lineær isometri; dvs.

$\langle{{\bm{v}}},{\bm{w}}\rangle = [{\bm{v}}]_{\mathcal{V}} \cdot [\bm{w}]_{\mathcal{V}} ,$ for alle ${\bm{v}},\bm{w} \in V$ . Med andre ord er det indre produkt $\langle \cdot, \cdot\rangle$ identisk med det indre produkt $\langle \cdot, \cdot\rangle_\mathcal{V}$ defineret ud fra $\mathcal{V}$ (se evt. Eksempel 9.3 (3.)).

Bevis

Lad ${\bm{v}}$ og $\bm{w}$ betegne elementer i $V$ , og anvend notationen

$[{\bm{v}}]_{\mathcal{V}} = \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{pmatrix} , \quad [\bm{w}]_{\mathcal{V}} = \begin{pmatrix} b_1 \\ b_2 \\ \vdots \\ b_n \end{pmatrix} ,$ om de tilsvarende koordinatvektorer. Dvs.

${\bm{v}}= \sum_{i=1}^n a_i \cdot {\bm{v}}_i,$ og

$\bm{w} = \sum_{j=1}^n b_j \cdot {\bm{v}}_j.$ Dermed har vi

$\begin{aligned} \langle{{\bm{v}}},{\bm{w}}\rangle & =\Big\langle \sum_{i=1}^n a_i \cdot {\bm{v}}_i, \sum_{j=1}^n b_j \cdot {\bm{v}}_j\Big\rangle \\ & = \sum_{i=1}^n \sum_{j=1}^n a_i \cdot \overline{b_j} \cdot \langle{{\bm{v}}_i},{{\bm{v}}_j}\rangle \\ & = \sum_{i=1}^n a_i \cdot \overline{b_i} \\ & = [{\bm{v}}]_{\mathcal{V}} \cdot [\bm{w}]_{\mathcal{V}} , \end{aligned}$ som ønsket.

[Unitære og ortogonale matricer] Lad $A \in \mathrm{Mat}_n(\mathbb{K})$ og betegn med $L_A : \mathbb{K}^n \rightarrow \mathbb{K}^n$ den tilsvarende lineære operator. Opfat $\mathbb{K}^n$ som et indre produkt rum via skalarproduktet. Matricen $A$ kaldes unitær, hvis $\mathbb{K}=\mathbb{C}$ og $L_A$ er en lineær isometri. Hvis $\mathbb{K}=\mathbb{R}$ og $L_A$ er en lineær isometri, så kaldes $A$ ortogonal.

I det følgende vil vi karakterisere, hvornår en matrix er hhv. unitær eller ortogonal. I den forbindelse er det, for en matrix $B \in \mathrm{Mat}_{m,n}(\mathbb{K})$ , fornuftigt at indføre notationen $B^H$ om matricen, der fremkommer ved at kompleks konjugere alle indgange i $B^T$ (specielt er $B^H=B^T$ , hvis $B$ er en reel matrix). Det sædvanlige skalarprodukt på $\mathbb{K}^n$ kan da beskrives som

$\langle{{\bm{v}}},{\bm{w}}\rangle = \bm{w}^H \cdot {\bm{v}}. \tag{10.24}$

Lad $A$ betegne den komplekse matrix

$A = \begin{pmatrix} i & 2+i & 3 \\ 5-i & 2 & 7+2i \end{pmatrix},$ så er $A^H$ lig

$A^H = \begin{pmatrix} -i & 5+i \\ 2-i & 2 \\ 3 & 7-2i \end{pmatrix}.$

Som en konsekvens af Lemma 3.11 har vi umiddelbart følgende resultat.

Lad $A,B \in \mathrm{Mat}_{m,n}(\mathbb{K})$ , $C \in \mathrm{Mat}_{l,m}(\mathbb{K})$ og $\alpha \in \mathbb{K}$ . Så er

$(A^H)^H=A$ .
$(\alpha A)^H = \overline{\alpha} A^H$ .
$(A+B)^H= A^H + B^H$ .
$(C\cdot A)^H = A^H \cdot C^H$ .

Bevis

Resultatet følger umiddelbart ved at kompleks konjugere identiteterne i Lemma 3.11. Detaljerne overlades til læseren.

Unitære og ortogonale matricer er karakteriseret ved følgende egenskaber.

Lad $A \in \mathrm{Mat}_n(\mathbb{K})$ , og opfat $\mathbb{K}^n$ som et indre produkt rum via skalarproduktet. Så er følgende udsagn ækvivalente

$A$ er unitær (hvis $\mathbb{K}=\mathbb{C}$ ) eller ortogonal (hvis $\mathbb{K}=\mathbb{R}$ ).
$\langle A \cdot {\bm{v}}, A \cdot \bm{w} \rangle = \langle {\bm{v}},\bm{w} \rangle$ for alle ${\bm{v}}, \bm{w} \in \mathbb{K}^n$ .
Søjlerne i $A$ udgør en ortonormalbasis for $\mathbb{K}^n$ .
$A$ er invertibel med invers $A^H$ .

Bevis

Ækvivalensen mellem (1.) og (2.) følger umiddelbart fra definitionerne. Lad nu $\bm{a}_1,\bm{a}_2,\ldots,\bm{a}_n$ betegne søjlerne for $A$ , og lad $\mathcal{E}= (\bm{e}_1, \bm{e}_2, \ldots, \bm{e}_n)$ betegne standardbasen for $\mathbb{K}^n$ . Så implicerer udsagn (2.), at

$\langle{\bm{a}_i},{\bm{a}_j}\rangle =\langle{A \cdot \bm{e}_i},{A \cdot \bm{e}_j}\rangle =\langle{\bm{e}_i},{\bm{e}_j}\rangle=\delta_{i,j},$ hvor $\delta_{i,j}$ betegner Kroneckers delta; altså er søjlerne i $A$ en ortonormal mængde, og $\mathcal{V}=(\bm{a}_1, \bm{a}_2, \ldots, \bm{a}_n)$ er dermed en ortonormalbasis for $\mathbb{K}^n$ . Udsagn (3.) er derfor en konsekvens af udsagn (2.). Antag nu, at udsagn (3.) er opfyldt. Så er

$\bm{a}_j^H \cdot \bm{a}_i =\langle{\bm{a}_i},{\bm{a}_j}\rangle = \delta_{i,j}.$ Men udtrykket $\bm{a}_j^H \cdot \bm{a}_i$ er netop den $(j,i)$ 'te indgang i produktet $A^H \cdot A$ . Vi konkluderer, at $A^H \cdot A=\mathrm{I}$ , og dermed er $A$ invertibel med invers $A^H$ , hvilket er udsagn (4.). Endelig er udsagn (2.) en konsekvens af udsagn (4.), idet (hvis $A^H \cdot A=\mathrm{I}$ )

$\langle{A \cdot {\bm{v}}},{A \cdot \bm{w}}\rangle = (A \cdot \bm{w})^H \cdot (A \cdot {\bm{v}}) = \bm{w}^H \cdot ( A^H \cdot A) \cdot {\bm{v}}=\langle{{\bm{v}}},{\bm{w}}\rangle.$

Lad $P$ betegne en matrix, der fremkommer ved at ombytte søjlerne i identitetsmatricen $\mathrm{I} \in \mathrm{Mat}_{n}(\mathbb{K})$ . Så er $P$ unitær eller ortogonal, når $\mathbb{K}$ er lig hhv. $\mathbb{C}$ eller $\mathbb{R}$ . F.eks. opfylder matricen
$P = \begin{pmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \\ \end{pmatrix} \in \mathrm{Mat}_3(\mathbb{K}),$ dette. Matricer af denne type kaldes for permutationsmatricer. Bemærk specielt, at identitetsmatricen $\mathrm{I}$ er en permutationsmatrix, og at $\mathrm{I}$ dermed er unitær eller ortogonal.
Lad $\mathbb{K}=\mathbb{R}$ og betragt en matrix af formen
$A= \begin{pmatrix} \cos(t) & -\sin(t) \\ \sin(t) & \cos(t) \end{pmatrix} ,$ for $t \in \mathbb{R}$ . Søjlerne i $A$ er da ortogonale og har længde lig $1$ , og $A$ er da en ortogonal matrix. Den tilsvarende lineære operator $L_A$ på $\mathbb{R}^2$ er i dette tilfælde lig en rotation omkring origo på $t$ grader imod urets retning. Tilsvarende er
$B = \begin{pmatrix} \cos(t) & \sin(t) \\ \sin(t) & -\cos(t) \end{pmatrix} ,$ for $t \in \mathbb{R}$ , en ortogonal matrix. I dette tilfælde er $L_B$ en spejling omkring linien i $\mathbb{R}^2$ der danner vinklen $\frac{1}{2} t$ med $x$ -aksen.
Enhver ortogonal matrix $C$ i $\mathrm{Mat}_2(\mathbb{R})$ vil bestå af ortogonale søjler $\bm{c}_1,\bm{c}_2$ af længde lig $1$ . Specielt vil $\bm{c}_1$ være på formen
$\begin{pmatrix} \cos(t) \\ \sin(t) \end{pmatrix} ,$ for en passende skalar $t \in \mathbb{R}$ . Idet $\bm{c}_2$ er vinkelret på $\bm{c}_1$ , så vil $\bm{c}_2$ være et reelt multiplum af hat-vektoren
$\hat{\bm{c}}_1 = \begin{pmatrix} -\sin(t) \\ \cos(t) \end{pmatrix} ,$ for $\bm{c}_1$ . Men $\bm{c}_2$ har samtidig længde lig $1$ , så dermed må $\bm{c}_2$ nødvendigvis være lig en af vektorerne $\hat \bm{c}_1$ eller $-\hat \bm{c}_1$ . Alle ortogonale matricer i $\mathrm{Mat}_2(\mathbb{R})$ er dermed enten på formen $A$ eller på formen $B$ som ovenfor.

Quiz

Lad $A, B \in \mathrm{Mat}_n(\mathbb{K})$ betegne kvadratiske matricer. Markér det udsagn, der altid er sandt.

$(AB)^{H} = A^{H}B^{H}$

Hvis $A^{H}A = I$ , da gælder der, at $\left\lVert A{\bm{v}} \right\rVert = \left\lVert {\bm{v}} \right\rVert$ , for alle ${\bm{v}}\in\mathbb{K}^n$

Hvis $A$ er unitær, så er $(A)_{i,j} = (A^{H})_{j,i}$ , for alle $i$ og $j$

Hvis $A$ og $B$ er unitære, så er $(AB)^{H}(A+B) = B^{H}+A$

10.4 Approksimationer

Betragt et indre produkt rum $V$ og et underrum $W$ heri. Givet et ${\bm{v}} \in V$ så er det ofte naturligt at spørge, om der eksisterer et $\bm{w} \in W$ , der er tættest på ${\bm{v}}$ . Her skal man selvfølgelig først gøre sig klart, hvad man mener med ordet tættest. Vi vælger at anvende normen $\left\lVert {\bm{v}} - \bm{w} \right\rVert$ som et mål for afstanden mellem ${\bm{v}}$ og $\bm{w}$ , og tolker da tættest som, at $\left\lVert {\bm{v}} - \bm{w} \right\rVert$ er minimal. At der faktisk findes et $\bm{w} \in W$ , hvor $\left\lVert {\bm{v}} - \bm{w} \right\rVert$ er minimal, er dog ikke umiddelbart oplagt. Vi har dog:

Lad $W$ betegne et underrum af et indre produkt rum $V$ . Lad ${\bm{v}} \in V$ , og antag, at vi har en opspaltning

${\bm{v}} = \bm{p}+\bm{h},$ med $\bm{p} \in W$ og $\bm{h} \in W^\perp$ . Så vil

$\left\lVert {\bm{v}} - \bm{p} \right\rVert < \left\lVert {\bm{v}}-\bm{w} \right\rVert ,$ for alle $\bm{w} \in W \setminus \left\{\bm{p}\right\}$ .

Bevis

Idet ${\bm{v}} - \bm{p} =\bm{h} \in W^\perp$ , så vil ${\bm{v}} - \bm{p}$ være ortogonal på $\bm{p} - \bm{w} \in W$ . Specielt giver Pythagoras' sætning, at

$\left\lVert {\bm{v}} - \bm{w} \right\rVert ^2 = \left\lVert ( {\bm{v}} - \bm{p}) + ( \bm{p} - \bm{w} ) \right\rVert ^2 = \left\lVert {\bm{v}} - \bm{p} \right\rVert ^2 + \left\lVert \bm{p} - \bm{w} \right\rVert ^2 > \left\lVert {\bm{v}} - \bm{p} \right\rVert ^2,$ idet $\bm{p} \neq \bm{w}$ , og dermed $\left\lVert \bm{p} - \bm{w} \right\rVert >0$ . Sætningens udsagn følger da umiddelbart herfra.

I betragtning af Definition 10.11 så viser Proposition 10.37, at den ortogonale projektion af ${\bm{v}}$ på $W$ (hvis en sådan eksisterer) er det element i $W$ , der er tættest på ${\bm{v}}$ . Ifølge Korollar 10.18 så kan man derfor altid tale om elementer i $W$ , der er tættest på ${\bm{v}}$ , når $W$ er et vektorrum af endelig dimension.

10.4.1 Mindste kvadraters løsning

I det følgende opfatter vi $\mathbb{R}^m$ som et indre produkt rum via skalarproduktet. Lad $A \in \mathrm{Mat}_{m,n}(\mathbb{R})$ betegne en reel matrix. Så er søjlerummet $R(A)$ et underrum i $\mathbb{R}^m$ . Lad nu $\bm{b} \in \mathbb{R}^m$ , og betragt det tilsvarende lineære ligningssystem

$A \cdot \bm{x} = \bm{b}. \tag{10.25}$ I Afsnit 5.2.1 observerede vi, at de mulige værdier for venstresiden af (10.25), når $\bm{x}$ gennemløber $\mathbb{R}^n$ , netop er lig søjlerummet for $A$ . Vi taler dermed om, at ${\bm{z}}$ er en bedst mulig løsning, eller en mindste kvadraters løsning til (10.25), såfremt $A \cdot \bm{z}$ er det element i søjlerummet $R(A)$ , som er tættest på $\bm{b}$ . Ordet tættest skal selvfølgelig forstås i den forstand, som det er introduceret ovenfor; dvs. vi kræver, at $\left\lVert \bm{b} - A \cdot \bm{z} \right\rVert$ skal være minimal.

Projektion på søjlerum

Det lineære ligningssystem (10.25) har (mindst) en mindste kvadraters løsning. Mindste kvadraters løsninger bestemmes som løsningsmængden til det lineære ligningssystem

$A \cdot \bm{x} = \bm{p}, \tag{10.26}$ hvor $\bm{p} \in \mathbb{R}^m$ betegner den ortogonale projektion af $\bm{b}$ på søjlerummet $R(A)$ .

I det følgende betegner $A$ den reelle matrix

$A= \begin{pmatrix} 1 & 2 \\ -2 & -1 \\ 1 & 2 \end{pmatrix},$ mens $\bm{b} \in \mathbb{R}^2$ betegner søjlevektoren

$b= \begin{pmatrix} 6 \\ 0 \\ 0 \end{pmatrix}.$ Så er den ortogonale projektion $\bm{p}$ af $\bm{b}$ på søjlerummet til $A$ lig

$\bm{p} = \alpha \cdot \begin{pmatrix} 1 \\ -2 \\ 1 \end{pmatrix} + \beta \cdot \begin{pmatrix} 2 \\ -1 \\ 2 \end{pmatrix},$ hvor $\alpha=$

og $\beta=$

. Specielt er

en mindste kvadraters løsning til det lineære ligningssystem $A \cdot \bm{x} = \bm{b}$ .

$\begin{pmatrix} 2 \\ -1 \end{pmatrix}$

$\begin{pmatrix} -1 \\ 2 \end{pmatrix}$

$\begin{pmatrix} 1 \\ 2 \end{pmatrix}$

$2$

$-1$

$1$

Bevis

At (10.26) har en løsning skyldes at $\bm{p}$ , pr. definition, er indeholdt i søjlerummet til $A$ (jf. diskussionen i Afsnit 5.2.1). For $\bm{z} \in \mathbb{R}^n$ vil $A \cdot \bm{z} \in R(A)$ , og dermed gælder der, ifølge Proposition 10.37, at

$\left\lVert \bm{b} - A \cdot \bm{z} \right\rVert \geq \left\lVert \bm{b}-\bm{p} \right\rVert ,$ med lighedstegn når $A \cdot \bm{z} = \bm{p}$ . Dette viser, at mindste kvadraters løsninger til (10.25) bestemmes som løsningerne til (10.26).

Idet (10.26) har mindst en løsning, så følger det af Proposition 3.12, at antallet af mindste kvadraters løsninger er det samme som antallet af elementer i nulrummet $N(A)$ . Specielt opnår vi:

Der er en entydig mindste kvadraters løsning til (10.25), hvis og kun hvis rangen af $A$ er lig $n$ .

Bevis

Dette følger af (3.) i Korollar 7.36, idet $\mathrm{rang}(A)=n$ er ækvivalent med at $N(A) = \nobreak \left\{\bm{0}\right\}$ .

At bestemme mindste kvadraters løsninger til (10.25) vha. Proposition 10.39 kræver, at man først finder den ortogonale projektion $\bm{p}$ af $\bm{b}$ på $R(A)$ . Vi har derfor brug for følgende sætning:

Det ortogonale komplement $R(A)^\perp$ til søjlerummet $R(A)$ indenfor det indre produkt rum $\mathbb{R}^m$ (udstyret med skalarproduktet), er identisk med nulrummet $N(A^T)$ .

Bevis

Jf. Afsnit 5.2.1 så kan søjlerummet $R(A)$ beskrives som mængden af elementer på formen $A \cdot {\bm{v}}$ , for ${\bm{v}} \in \mathbb{R}^n$ . At et element $\bm{z} \in \mathbb{R}^m$ er indeholdt i $R(A)^\perp$ , er derfor ækvivalent med, at

$\langle{\bm{z}},{A \cdot {\bm{v}}}\rangle = 0 \quad \text{for alle } {\bm{v}} \in \mathbb{R}^n. \tag{10.27}$ Men

$\langle{\bm{z}},{A \cdot {\bm{v}}}\rangle = (A \cdot {\bm{v}})^T \cdot \bm{z} = {\bm{v}}^T \cdot (A^T \cdot \bm{z}) =\langle{A^T \cdot \bm{z}},{{\bm{v}}}\rangle,$ og derfor er (10.27) ækvivalent med, at

$\langle{A^T \cdot \bm{z}},{{\bm{v}}}\rangle = 0 \quad \text{for alle } {\bm{v}} \in \mathbb{R}^n. \tag{10.28}$ Endelig er (10.28) ækvivalent med, at $A^T \cdot \bm{z}$ er indeholdt i $(\mathbb{R}^n)^\perp$ ; dvs at $A^T \cdot \bm{z} = 0$ (jf. Eksempel 10.8 (1.)). Dette afslutter beviset, da $A^T \cdot \bm{z} = 0$ netop betyder, at $\bm{z}$ er indeholdt i $N(A^T)$ .

Vi kan nu simplificere metoden til bestemmelse af mindste kvadraters løsninger.

Mindste kvadraters løsninger til (10.25) bestemmes som løsningerne til det lineære ligningssystem

$(A^T A) \cdot \bm{x} = A^T \cdot \bm{b}. \tag{10.29}$

Bevis

Lad $\bm{p}$ betegne den ortogonale projektion af $\bm{b}$ på søjlerummet $R(A)$ . Pr. definition er $\bm{p}$ dermed det entydige element i $R(A)$ , der opfylder

$\bm{b} - \bm{p} \in R(A)^\perp= N(A^T),$ hvor det sidste lighedstegn følger af Lemma 10.41. For $\bm{z} \in \mathbb{R}^n$ vil $A \cdot \bm{z} \in R(A)$ , og $A \cdot \bm{z}$ vil da være lig $\bm{p}$ præcist, når

$A^T (\bm{b} - A \cdot \bm{z}) = \bm{0}. \tag{10.30}$ Men at $\bm{z}$ opfylder (10.30), er oplagt ækvivalent med, at $\bm{z}$ er en løsning til (10.29).

Ligningen (10.29) kaldes for normalligningen hørende til (10.25). Det bemærkes, at normalligningen kan opskrives uden kendskab til projektionen $\bm{p}$ af $\bm{b}$ på søjlerummet til $A$ , og mindste kvadraters løsninger kan dermed bestemmes via almindelige metoder for løsninger af lineære ligningssystemer.

Quiz

I det følgende betegner $A$ den reelle matrix

$A= \begin{pmatrix} 1 & 2 \\ -2 & -1 \\ 1 & 2 \end{pmatrix},$ mens $\bm{b} \in \mathbb{R}^2$ betegner søjlevektoren

$b= \begin{pmatrix} 6 \\ 0 \\ 0 \end{pmatrix}.$ Normalligning for det lineære ligningssystem $A \cdot \bm{x} = \bm{b}$ er givet ved $B \cdot \bm{x} = \bm{c}$ , hvor $B=$

mens $\bm{c}=$

. En løsning til normalligningen (og dermed en mindste kvadraters løsning til $A \cdot \bm{x} = \bm{b}$ ) er lig

$\begin{pmatrix} 6 & 6 \\ 6 & 9 \end{pmatrix}$

$\begin{pmatrix} 1 & 2 \\ -2 & -1 \end{pmatrix}$

$\begin{pmatrix} 1 \\ -2 \end{pmatrix}$

$\begin{pmatrix} 6 \\ 12 \end{pmatrix}$

$\begin{pmatrix} -1 \\ 2 \end{pmatrix}$

$\begin{pmatrix} 6 \\ 0 \end{pmatrix}$

Rangen af $A \in \mathrm{Mat}_{m,n}(\mathbb{R})$ er lig $n$ hvis og kun hvis den kvadratiske matrix $A^T A \in \mathrm{Mat}_n(\mathbb{R})$ er invertibel.

Bevis

Hvis $A^T A$ er invertibel, så vil (10.29) have en entydig løsning, og da vil $\mathrm{rang}(A)=n$ ifølge Korollar 10.40.

Hvis omvendt $\mathrm{rang}(A)=n$ , så vil (10.29) have en entydig løsning, jf. Korollar 10.40. Men så vil det tilsvarende homogene lineære ligningssystem

$(A^T A) \cdot \bm{x} = \bm{0}, \tag{10.31}$ også have en entydig løsning, jf. Proposition 3.12, og dermed er $A^T A$ invertibel ifølge Proposition 4.6.

10.4.2 Polynomiel regression

Vi vil nu undersøge, hvordan man kan approksimere et datasæt

$(x_i,y_i) \in \mathbb{R}^2, \quad i=1,2,3,\ldots,m, \tag{10.32}$ i planen, med polynomielle kurver. Optimalt ønsker vi, for et fast $d$ , at bestemme et reelt polynomium

$p(x) = a_0 + a_1 x + \ldots + a_d x^d, \quad x \in \mathbb{R}, \tag{10.33}$ i $P_{d+1}(\mathbb{R})$ , så sammenhængen mellem koordinaterne i (10.32) er givet ved

$p(x_i)=y_i \quad \text{for } i=1,2,3,\ldots,m. \tag{10.34}$ Hvis $d$ er lille i forholdet til størrelsen $m$ af datasættet, så kan (10.34) sjældent opnås. I stedet ønsker man at minimere samlingen af værdier $p(x_i)-y_i$ , for $i=1,2,3,\ldots,m$ . Vi tolker her minimere, som at normen af vektoren (mht. skalarproduktet)

$\bm{F} = \begin{pmatrix} p(x_1)-y_1 \\ p(x_2)-y_2 \\ \vdots \\ p(x_m)-y_m \end{pmatrix} \tag{10.35}$ er minimal. De variable er i denne forbindelse koefficienterne $a_0,a_1,\ldots,a_d$ til polynomiet $p$ .

En sådan problemstilling kan løses via den ovenfor indførte teori. Vi definerer

$A= \begin{pmatrix} 1 & x_1 & x_1^2 & x_1^3 & \cdots & x_1^d \\ 1 & x_2 & x_2^2 & x_2^3 & \cdots & x_2^d \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_m & x_m^2 & x_m^3 & \cdots & x_m^d \\ \end{pmatrix} \in \mathrm{Mat}_{m,d+1}(\mathbb{R}), \tag{10.36}$ og bemærker

$\begin{pmatrix} p(x_1) \\ p(x_2) \\ \vdots \\ p(x_m) \end{pmatrix} = A \cdot \begin{pmatrix} a_0 \\ a_1 \\ \vdots \\ a_d \end{pmatrix} . \tag{10.37}$ Dermed kan normen af $\bm{F}$ beskrives som

$\left\lVert \bm{F} \right\rVert = \left\lVert A \cdot \bm{a} - \bm{y} \right\rVert ,$ hvor

$\bm{a} = \begin{pmatrix} a_0 \\ a_1 \\ \vdots \\ a_d \end{pmatrix} ,\qquad \bm{y} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{pmatrix} .$ Vi konkluderer derfor, at normen af $\bm{F}$ er minimal, når $\bm{a}$ er en mindste kvadraters løsning til ligningssystemet $A \cdot \bm{x} = \bm{y}$ . Specielt findes de optimale værdier af ${\bm{a}}$ (og dermed det optimale $p$ ), som løsningerne til normalligningen

$(A^T A) \bm{x} = A^T \bm{y}. \tag{10.38}$ Antallet af mindste kvadraters løsninger er delvist beskrevet ved:

Der eksisterer en entydig mindste kvadraters løsning til $A \cdot \bm{x} = \bm{y}$ , såfremt samlingen $x_1,x_2,\ldots,x_m$ indeholder en delmængde bestående af $d+1$ parvist forskellige elementer.

Bevis

Jf. Korollar 10.40, så eksisterer der en entydig mindste kvadraters løsning, såfremt $\mathrm{rang}(A)=d+1$ . Dette er yderligere ækvivalent med, at $N(A)= \left\{\bm{0}\right\}$ , jf. (3.) i Korollar 7.36. Lad derfor $\bm{a} =(a_0,a_1,\ldots,a_d)^T$ betegne et element i nulrummet $N(A)$ , og lad $p \in P_{d+1}(\mathbb{R})$ betegne det tilsvarende polynomium (10.33). Ifølge (10.37) så er $x_1,x_2,\ldots, x_m \in \mathbb{R}$ da rødder i $p$ . Såfremt der blandt $x_1,x_2,\ldots,x_m$ er $d+1$ parvist forskellige elementer, så er $p$ dermed nødvendigvis lig nulpolynomiet, jf. Proposition B.13. Dermed er $\bm{a}=\bm{0}$ , og det ønskede er opnået.

Betragt datasættet

$M= \{ (1,1),(2,4),(3,13) \},$ og lad os bestemme en approksimation hertil med en lineær funktion $l(x) = \alpha + \beta x$ , med $\alpha, \beta \in \mathbb{R}$ . Idet der er $3$ parvist forskellige 1.-koordinater, så følger det, at der er en entydig mindste kvadraters løsning til det tilsvarende lineære ligningssystem $A \cdot \bm{x} = \bm{y}$ , hvor

$A= \begin{pmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{pmatrix} ,\qquad \bm{y}= \begin{pmatrix} 1 \\ 4 \\ 13 \end{pmatrix} .$ Idet

$\begin{aligned} A^T \cdot A &= \begin{pmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \\ \end{pmatrix} \cdot \begin{pmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{pmatrix} = \begin{pmatrix} 3 & 6 \\ 6 & 14 \\ \end{pmatrix} , \end{aligned}$ og

$\begin{aligned} A^T \cdot \bm{y} &= \begin{pmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \\ \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 4 \\ 13 \\ \end{pmatrix} = \begin{pmatrix} 18 \\ 48 \\ \end{pmatrix} , \end{aligned}$ så er den relevante normalligning lig

$\begin{pmatrix} 3 & 6 \\ 6 & 14 \\ \end{pmatrix} \bm{x} = \begin{pmatrix} 18 \\ 48 \\ \end{pmatrix} ,$ hvis entydige løsning bestemmes til

$\bm{z} = \begin{pmatrix} -6 \\ 6 \\ \end{pmatrix} .$ Den bedste (i den angivne forstand) lineære approksimation til datasættet $M$ er derfor linjen $l(x) = -6 + 6 x$ . Idet $l(1) = 0$ , så vil denne linje ikke gå igennem alle punkter i datasættet $M$ .

Lad os i stedet bestemme den bedste approksimation til $M$ med en kvadratisk funktion

$p(x) = a_0 + a_1 x + a_2 x^2,$ for skalarer $a_0,a_1,a_2 \in \mathbb{R}$ . I dette tilfælde er det relevante lineære ligningssystem

$\begin{pmatrix} 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \\ \end{pmatrix} \bm{x} = \begin{pmatrix} 1 \\ 4 \\ 13 \\ \end{pmatrix}. \tag{10.39}$ Matricen

$\begin{pmatrix} 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \\ \end{pmatrix} ,$ er i dette tilfælde invertibel (detaljerne herfor overlades til læseren), og (10.39) har dermed ikke bare en mindste kvadraters løsning, men faktisk også en eksakt løsning. En konkret beregning afslører, at (10.39) har løsningen $(4,-6,3)^T$ , og

$p(x) = 4 - 6 x + 3 x^2,$ er da et kvadratisk polynomium som går igennem datasættet $M$ .

Polynomiel regression.

10.4.3 Fourieranalyse

Betragt nu det komplekse vektorrum $V=C([ -\pi, \pi ], \mathbb{C}$ ) af kontinuerte komplekse funktioner på intervallet $[ -\pi, \pi ]$ . Som beskrevet i Eksempel 9.3 (6.), så kan vi udstyre $V$ med et indre produkt givet ved

$\langle{f},{g}\rangle = \frac{1}{2 \pi} \int_{-\pi}^\pi f(t) \cdot \overline{g(t)} \,\mathrm{d} t,$ for $f,g \in V$ . I Eksempel 10.2 har vi yderligere set, at funktionerne

$h_n (t) = e^{i \cdot n \cdot t} \quad \text{for } t \in [ -\pi, \pi ],$ for $n \in \mathbb{Z}$ , er parvist ortogonale og af længde $1$ .

Definer nu for ethvert naturligt tal $m \in \mathbb{N}$ underrummet

$V_m = \mathrm{Span}(h_{-m}, h_{-m+1}, \ldots, h_0, \ldots, h_{m-1}, h_m),$ af $V$ . Så er

$\mathcal{V}_m = (h_{-m}, h_{-m+1}, \ldots, h_0, \ldots, h_{m-1}, h_m),$ en ortonormal basis for $V_m$ , og ethvert element $f \in V$ har dermed en ortogonal projektion på $V_m$ , jf. Lemma 10.14. Mere specifikt så vil

$f_m = \sum_{j=-m}^m c_j \cdot h_j, \tag{10.40}$ med

$c_j = \frac{1}{2 \pi} \int_{-\pi}^\pi f(t) \cdot {h_{-j}(t)} \,\mathrm{d} t,$ være projektionen af $f$ på $V_m$ . Ifølge Proposition 10.37 så er $f_m$ dermed den funktion i $V_m$ , som er tættest på $f$ , hvor der med tættest menes mht. til det afstandsmål, som er defineret ud fra det indre produkt $\langle \cdot, \cdot\rangle$ . Hvorvidt funktionsværdierne $f(t)$ og $f_m(t)$ , for et givet $t \in[ -\pi, \pi ]$ , er tilnærmelsesvis ens, siger dette dog intet om. Et af hovedresultaterne i Fourieranalysen siger dog, at

$f_m(t) \to f(t) \quad \text{for } m \to \infty, \tag{10.41}$ for næsten alle værdier af $t$ . Vi vil hverken bevise dette resultat eller gøre rede for, hvad der menes med begrebet næsten alle. Det bør dog bemærkes, at (10.41) er opfyldt for værdier af $t \in\mathopen]-\pi, \pi\mathclose[$ , hvor $f$ er differentiabel.

Vi vil nu undersøge, hvad ovenstående bemærkninger betyder i tilfældet, hvor $f \in V$ er en funktion, der kun antager reelle værdier; dvs. når $f \in C([ -\pi, \pi ],\mathbb{R})$ . Vi starter med at bemærke, at $\cos(-t) = \cos(t)$ og $\sin(-t) = -\sin(t)$ , for $t \in \mathbb{R}$ , og dermed vil

$\begin{aligned} 2 \cdot c_j & = \frac{1}{\pi} \cdot \int_{-\pi}^\pi f(t) \cdot {h_{-j}(t)} \,\mathrm{d} t, \\ & = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \cdot \cos(-j \cdot t) \,\mathrm{d} t + i \cdot \frac{1}{\pi} \cdot \int_{-\pi}^{\pi} f(t) \cdot \sin(-j \cdot t) \,\mathrm{d} t \\ & = \frac{1}{\pi} \cdot \int_{-\pi}^{\pi} f(t) \cdot \cos(j \cdot t) \,\mathrm{d} t - i \cdot \frac{1}{\pi} \cdot \int_{-\pi}^{\pi} f(t) \cdot \sin(j \cdot t) \,\mathrm{d} t \\ & = a_j - i \cdot b_j, \end{aligned}\tag{10.42}$ hvor $a_j$ og $b_j$ betegner de reelle tal

$\begin{aligned} a_j &= \frac{1}{\pi} \cdot \int_{-\pi}^{\pi} f(t) \cdot \cos(j \cdot t) \,\mathrm{d} t , \end{aligned}\tag{10.43}$ og

$\begin{aligned} b_j &= \frac{1}{\pi} \cdot \int_{-\pi}^{\pi} f(t) \cdot \sin(j \cdot t) \,\mathrm{d} t. \end{aligned}\tag{10.44}$ Det bemærkes, at $a_{-j} = a_{j}$ og at $b_{-j} = -b_j$ , og dermed vil

$\overline{c_j} = \tfrac{1}{2} \cdot (a_j + i \cdot b_j ) = \tfrac{1}{2} \cdot (a_{-j} - i \cdot b_{-j}) = c_{-j}.$ Specielt finder vi, at

$\overline{f_m } = \sum_{j=-m}^m \overline{c_j} \cdot \overline{h_j} = \sum_{j=-m}^m c_{-j} \cdot h_{-j} = f_m,$ og $f_m$ er dermed en reel funktion. Faktisk har vi følgende beskrivelse af $f_m$ .

Hvis $f \in C([ -\pi, \pi ],\mathbb{R})$ , så vil

$f_m(t) = \tfrac{1}{2} a_0 + \sum_{j=1}^m \bigl(a_j \cdot \cos(j \cdot t) + b_j \cdot \sin(j \cdot t) \bigr), \tag{10.45}$ for $t \in [ -\pi, \pi ]$ .

Bevis

Start med at bemærke, at realdelen $g_j$ af $c_j \cdot h_j$ er givet ved

$g_j(t) =\tfrac{1}{2} \cdot a_j \cdot \cos(j \cdot t) +\tfrac{1}{2} \cdot b_j \cdot \sin(j \cdot t).$ Specielt vil

$\begin{aligned} g_{-j}(t) & =\tfrac{1}{2} \cdot a_{-j} \cdot \cos(-j \cdot t) +\tfrac{1}{2} \cdot b_{-j} \cdot \sin(-j \cdot t) \\ & = \tfrac{1}{2} \cdot a_{j} \cdot \cos(j \cdot t) +\tfrac{1}{2} \cdot b_{j} \cdot \sin(j \cdot t) \\ & = g_j(t). \end{aligned}$ Idet $f_m$ er en reel funktion, så konkluderer vi herfra, at

$f_m = \sum_{j=-m}^m g_j = g_0 + 2 \cdot \sum_{j=1}^m g_j,$ som let omskrives til det ønskede udtryk (10.45).

En funktion der er beskrevet som på højresiden af (10.45), kaldes for et trigonometrisk polynomium. Et trigonometrisk polynomium er, med andre ord, en funktion, som kan beskrives som en linearkombination af funktioner af formen $\sin(n \cdot t)$ og $\cos(n \cdot t)$ for heltal $n \geq 0$ . Idet

$\begin{aligned} \cos(n \cdot t) &= \tfrac{1}{2} \bigl(h_n(t) + h_{-n}(t)\bigr), \end{aligned}$ og

$\begin{aligned} \sin(n \cdot t) &= \tfrac{1}{2 \cdot i} \bigl(h_n(t) - h_{-n}(t)\bigr), \end{aligned}$ så vil enhver trigonometrisk funktion være indeholdt i $V_m$ , blot $m$ er tilstrækkelig stor. Specielt vil $f=f_m$ , for $m$ stor, hvis $f$ er en trigonometrisk funktion. I givet fald så fortæller Fourieranalysen os endda, hvordan vi konkret kan skrive $f$ som en linearkombination af $\sin(n \cdot t)$ og $\cos(n \cdot t)$ (jf. (10.45), (10.43) og (10.44)). En sådan opskrivning er faktisk entydig idet:

For et heltal $m>0$ er

$\bigl(1, \cos(t), \sin(t), \cos(2 \cdot t), \sin(2 \cdot t), \ldots, \cos(m \cdot t), \sin(m \cdot t)\bigr) \tag{10.46}$ en basis for $V_m$ .

Bevis

Vi har allerede bemærket, at (10.46) består af funktioner, der er indeholdt i $V_m$ . Idet $V_m$ , pr. definition, er udspændt af den ortonormale mængde $\mathcal{V}_m$ , så er $\mathcal{V}_m$ en basis for $V_m$ , og $V_m$ har dermed dimension $2m+1$ . Men (10.46) består af præcist $2m+1$ elementer, og det er derfor, jf. Proposition 7.12, tilstrækkeligt at vise, at (10.46) udspænder $V_m$ . Dette følger fra identiteten

$h_j(t) = \cos(j \cdot t) + i \cdot \sin(j \cdot t).$

Generelt fortæller Fourieranalysen os altså, hvordan arbitrære funktioner kan approksimeres med trigonometriske funktioner.

Trigonometriske funktioner optræder i mange forskellige praktiske anvendelser; f.eks. hvis man måler på et fysisk system, der kan beskrives som en superposition af bølgefunktioner; som f.eks. lyd og lys. Her vil det ofte være nyttigt at kende det fysiske systems bestanddele; dvs. at kende de enkelte led i den trigonometriske funktion der beskriver det fysiske system. I princippet er dette indholdet af Lemma 10.48 og formlerne (10.43) og (10.44) for hhv. $a_j$ og $b_j$ . I praksis må man dog nøjes med at approksimere integralerne i (10.43) og (10.44) med passende summer. Der findes forskellige metoder til dette herunder den diskrete Fourier transformation og en forfining heraf kaldet fast Fourier transform.